layout: true <!-- Define general layout features --> <!-- Logos --> <div class="my-logo-flu"></div> <!-- Footer --> <div class="my-footer"><span> <i class="fas fa-user-tie "></i> Radim Hladík    <i class="fab fa-twitter "></i> @hlageek    <i class="fas fa-envelope "></i> hladik@flu.cas.cz       <i class="fas fa-comment "></i> Otevřená věda a reprodukovatelný výzkum    <i class="fas fa-hashtag "></i> ipcas    <i class="fas fa-map-marker-alt "></i> FLÚ AVČR    <i class="fas fa-calendar-alt "></i> 4. listopadu 2020          <i class="fas fa-book-open "></i> </span></div> --- class: remark-title-header <!-- Title slide --> # .left[__Otevřená věda a reprodukovatelný výzkum__<br>_Open Science na FLÚ_] <!-- Left column --> .pull-left.left[ <!-- QR code --> .center[ <img src="https://www.bihealth.org/fileadmin/_processed_/9/6/csm_3_badges_joined_438ec03cc6.jpg" height="200"> <br><br> <img src="http://www.flu.cas.cz/images/grafika/loga/Logolink_OP_VVV_cz_frame_res.jpg" height="110"> .font70[ Podpořeno projektem "Rozvoj prostředí pro profesní růst pracovníků Filosofického ústavu AV ČR, v. v. i." (reg. č. CZ.02.2.69/0.0/0.0/18_054/0014626).] ] ] <!-- Right column --> .pull-right.left[ ### Radim Hladík <i class="fas fa-university "></i> Filosofický ústav Akademie věd ČR, v. v. i.<br> .center[ <img src="https://owncloud.cesnet.cz/index.php/s/9cezPTtLy9muLfv/download" height="80">   <img src="https://owncloud.cesnet.cz/index.php/s/QJDYpj9YFtjMAgm/download" height="90"> ] <i class="fas fa-envelope "></i> <a href="mailto:hladik@flu.cas.cz ">hladik@flu.cas.cz</a><br> <i class="fab fa-twitter "></i> <a href="http://twitter.com/hlageek">@hlageek</a> <br><br> <i class="fas fa-comment "></i> **Otevřená věda a reprodukovatelný výzkum** <br> <i class="fas fa-map-marker-alt "></i> FLÚ AVČR <br> <i class="fas fa-calendar-alt "></i> 4. listopadu 2020 <br> <i class="fas fa-hashtag "></i> ipcas ] --- class: font170 # Otevřený přístup & otevřená věda .left-column[ __otevřený přístup__ - výstupy vědecké práce __otevřená věda__ - transparentní vytváření výstupů - recenzní řízení, kód, data, citace, ... ] .right-column[ .center[ <img src="https://s3-eu-west-1.amazonaws.com/pfigshare-u-previews/2250225/preview.jpg">] ] --- class: font180 # Otevřená věda a reprodukovatelný výzkum .pull-left[ - otevřená reprodukovatelná věda - definice otevřeného reprodukovatelného výzkumu - výzkumy nereprodukovatelnosti - otevřené laboratorní deníky - otevřené pracovní postupy - otevřený zdrojový kód - zásady reprodukovatelnosti - testování reprodukovatelnosti - RV potřebuje otevřená data, otevřené nástroje a otevřený přístup ] .pull-right[ .center[ <img src="https://owncloud.cesnet.cz/index.php/s/WfZbdSbIfkmcWy2/download"> ] ] --- class: font170 # Může existovat nereprodukovatelná věda? .left-column2[ - požadavek na reprodukovatelnost výzkumu se objevuje v samotných počátcích moderní vědy - Shapin & Schaffer (1985) - ve sporu R. Boylea a T. Hobbese o existenci vakua se objevují nároky na replikaci experimentu při utváření vědeckých faktů: - přímé svědectví - replikace - virtuální svědectví .font70[ >_"Boyle now expressed despair that these experiments would ever be replicated. He said that he was now even more willing "to set down divers things with their minute circumstances" because "probably many of these experiments would be never either re-examined by others, or re-iterated by myself." Anyone who set about trying to replicate such Boyle said, "will find it no easy task."_ (p. 60) ] ] .right-column2[ .center[ <img src="https://upload.wikimedia.org/wikipedia/commons/3/31/Boyle_air_pump.jpg" height = "500"> ] ] --- class: font170 # Replikovatelnost a reprodukovatelnost .pull-left[ - **reprodukovatelnost** - minimální standard - ověření výsledků na **stejných** datech - opakovatelnost (repeatability) - reprodukovatelnost (reproducibility) - typologie* - komputační r. - empirická r. - statistická r. - svědčí o integritě výzkumu ] .pull-right[ - __replikovatelnost__ - "zlatý" standard - potvrzení výsledků na **nových** datech - svědčí o "pravdivosti" výsledků ] .center[_neustálená terminologie!_] <span style="position:absolute; bottom:20px;">.font40[ *Stodden, V. 2014 What scientific idea is ready for retirement? Reproducibility. [Edge.org](http://www.edge.org/response-detail/25340) ]</span> --- # Matice spolehlivosti výzkumných závěrů .center[ <img src="https://owncloud.cesnet.cz/index.php/s/j2BCXlOm1SoldK5/download" height = "500">* ] .font60[ <span style="position:absolute; bottom:20px;"> *Whitaker, K. J. 2017. [Showing Your Working: A How To Guide to Reproducible Research.](https://github.com/WhitakerLab/ReproducibleResearch/blob/master/PRESENTATIONS/Whitaker_ICON_August2017.pdf) </span> ] --- class: font180 # Proč se mluví o reprodukovatelnosti - hnutí za otevřenou vědu - RRI - odpovědný výzkum a inovace - digitální obrat ve vědě - nové možnosti komputační reprodukovatelnosti - nové zdroje (velkých) dat - replikační krize / krize reprodukovatelnosti --- class: font180 # Odpovědný výzkum a inovace - Responsible Research and Innovation "Odpovědný výzkum a inovace (RRI) znamená, že společenské subjekty (výzkumní pracovníci, občané, tvůrci politik, podniky, organizace třetího sektoru atd.) spolupracují během celého výzkumného a inovačního procesu s cílem lépe sladit proces i jeho výsledky s hodnotami, potřebami a _očekáváními_ společnosti."* - reprodukovatelný výzkum posiluje důvěru aktérů ve vědu - zvyšuje odolnost proti "junk science" a vědeckým dezinformacím .font60[ <span style="position:absolute; bottom:20px;"> *[Responsible research & innovation.](https://ec.europa.eu/programmes/horizon2020/en/h2020-section/responsible-research-innovation) </span> ] --- class: font180 # Komputační reprodukovatelnost .pull-left[ Jon Claerbout & Martin Karrenbach (1992): - definovali kritéria komputační reprodukovatelnosti - badatelské kompendium spustitelné jedním příkazem - kód spojuje surová data s výstupy, včetně vizualizací - požadavek na otevřený kód a data (kritika proprietárního softwaru) ] .pull-right[ .center[ <img src="https://owncloud.cesnet.cz/index.php/s/vNdOVrpwjPUgYob/download" height = "480">* ] ] .font60[ <span style="position:absolute; bottom:20px;"> *Claerbout, Jon F., and Martin Karrenbach. “[Electronic Documents Give Reproducible Research a New Meaning.](https://doi.org/10.1190/1.1822162.)” In SEG Technical Program Expanded Abstracts 1992, 601–4. Society of Exploration Geophysicists, 1992. </span> ] --- class: font180 # Replikační krize / krize reprodukovatelnosti John Ioannidis (2005) "Why Most Published Research Findings Are False": "Je zavádějící zdůrazňovat statisticky významná zjištění jakéhokoliv týmu. Co je důležité, je souhrn důkazů."* - upozornil na nedostatky výzkumů zdůrazňujících `\(p\)`-hodnotu při nedostatečné statistickou sílou - doporučil mj. preregistrace výzkumu a spolupráci týmů - "pravdivé" výsledky jsou spíše ty, které se objevují opakovaně .font60[ <span style="position:absolute; bottom:20px;"> *Ioannidis, John P. A. “[Why Most Published Research Findings Are False](https://doi.org/10.1371/journal.pmed.0020124.).” PLOS Medicine 2, no. 8 (August 30, 2005): e124. </span> ] --- class: font180 # Replikační krize / krize reprodukovatelnosti Brian Nosek et al. (2015) "Estimating the reproducibility of psychological science": .pull-left[ - replikace 100 experimentů z prestižních psychologických časopisů - 97 % studií vykázalo statisticky významné účinky - 36 % replikačních studií vykázalo statisticky významné účinky - velikost účinků při replikaci poklesla ] .pull-right[ .center[ <img src="https://science.sciencemag.org/content/sci/349/6251/aac4716/F1.large.jpg" height = "400">* ] ] .font60[ <span style="position:absolute; bottom:20px;"> *Nosek, Brian, and et. al. “[Estimating the Reproducibility of Psychological Science.](https://doi.org/10.1126/science.aac4716.)” Science 349, no. 6251 (August 28, 2015). </span> ] --- class: font180 # Preregistrace výzkumu - publikace výzkumných postupů a metod předtím, než výzkum proběhne (tj. před sběrem dat) - v případě komputační reprodukovatelnosti může zahrnovat simulovaná data - spojení s publikačními postupy - recenzní řízení pro preregistrované protokoly - garantuje publikaci - eliminuje tlak na p-hacking, "bagrování" dat - nový element ve výzkumné praxi, avšak odpovídá klasickému "učebnicovému" pojetí vědeckého poznávacího procesu - vyžadováno u klinických studií - principy reprodukovatelnosti jako základ výzkumu --- class: font180 # Překážky reprodukovatelnosti Výběr z _Reproducibility and Replicability in Science_ (2019) - neetické chování - nedostupnost literatury - publikační bias - publikace pouze statisticky významných výsledků - akademické odměňování / špatně nastavené hodnocení vědy - důraz na produktivitu místo kvality --- class: font180 # Posílení reprodukovatelnosti Výběr z _Reproducibility and Replicability in Science_ (2019) - vzdělávání, důraz na statistiku - systematické vedení záznamů - verzování - repozitáře a unikátní identifikátory pro data - zvýšené nároky vydavatelů --- class: font180 # Zpět k otevřené vědě - otevřená věda nemusí být vždy reprodukovatelná, ale reprodukovatelný výzkum předpokládá otevřenou vědu - otevřená data (permisivní licence) - otevřený kód (permisivní licence) - nástroje s otevřeným zdrojovým kódem - propriétární nástroje snižují reprodukovatelnost - otevřený přístup - empirická reprodukovatelnost --- class: font180 # Reprodukovatelnost a humanitní vědy .font90[ "Replikace je v humanitních oborech možná do té míry, do jaké jsou empirické. Replikace nemusí být možná v oborech, které primárně používají deduktivní metodu a neshromažďují a neanalyzují data, jako jsou logika, matematika, určité části etiky a metafyzika. To ponechává velký prostor pro replikaci v oborech, které jsou empirické, jako jsou literární věda, lingvistika, historie a uměnovědy."** <br> | | | | |---|---|---|---| | Experimental Philosophy (Cova et al., 2018) | Skupina 20 výzkumných týmů provedla replikační studie 40 výzkumů v experimentální filosofii publikovaných v letech 2003 až 2015 | 70 % ze 40 studií bylo zreplikováno porovnáním původní velikosti účinku s intervalem spolehlivosti (CI) replikace.* ] .font50[ <span style="position:absolute; bottom:20px;"> *Peels, Rik. “[Replicability and Replication in the Humanities.](https://doi.org/10.1186/s41073-018-0060-4)” Research Integrity and Peer Review 4, no. 1 (January 9, 2019): 2. **Medicine, National Academies of Sciences, et al. Reproducibility and Replicability in Science. National Academies Press, 2019.<br> </span> ] --- class: font180 # Reprodukovatelnost a humanitní vědy .font90[ "Ze skutečnosti, že malá část výzkumu v humanitních oborech může být replikovatelná, nevyplývá, že by všechny výzkumy v humanitních oborech měly být replikovatelné. [...] Ano, výzkumníci v humanitních vědách by měli být schopni zodpovídat za svůj výzkumný design a ano, měli by chápat jeho důsledky. [...] Výzkum v oblasti humanitních věd se od věd neliší kvůli nějaké tajné omáčce, ale proto, že předměty výzkumu a kladené otázky často, ale ne vždy, neumožňují replikaci nebo dokonce replikovatelnost. Opírají se spíše o interpretaci V důsledku toho musí být humanitní výzkum organizován jinak, aby byl stále schopen vypovídat a nést odpovědnost."* - reprodukovatelnost je kontinuum, nikoliv milník na cestě k replikaci ] .font50[ <span style="position:absolute; bottom:20px;"> *Hoolbrook, J. Britt, Bart Penders, and Sarah de Rijcke. “[The Humanities Do Not Need a Replication Drive.](https://www.cwts.nl:443/blog?article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive)” CWTS (blog), January 21, 2019. </span> ] --- class: font180 # Digitální humanitní vědy Nan Z. Da (2019): "The Computational Case against Computational Literary Studies" "Autoři z CLS [komputační literání věda] právem tvrdí, že kritika jejich práce by se měla zabývat více než jedním či dvěma články, ale proces vyžadování úplných, spustitelných kódů a kvantitativních výsledků (tabulek, výstupních dat, matric, měření a dalších) mi zabral téměř dva roky. Autoři a redaktoři buď nikdy neodpověděli na mé e-maily, nebyli schopni nebo ochotni poskytnout kompletní nebo spustitelné skripty a data, nebo je dávali po částech jen po opakovaných žádostech."* .font50[ <span style="position:absolute; bottom:20px;"> *Da, Nan Z. “[The Computational Case against Computational Literary Studies.](https://doi.org/10.1086/702594.)” Critical Inquiry 45, no. 3 (March 2019): 601–39. </span> ] --- class: font180 # Reprodukovatelná bibliografie se Zoterem .left-column[ [Zotero](https://www.zotero.org/) - otevřený zdrojový kód - výpisky - evidence bibliografie (reprodukovatelná v různých citačních stylech díky CSL) ] .right-column[ .center[ <img src="https://www.zotero.org/static/images/home/screenshot-1.4.png" height = "450">* ] ] --- class: font170 # Reprodukovatelné psaní v prostém textu .pull-left[ - nezávislost na textových procesorech a operačních systémech - verzování textu - repozitáře GitHub, GitLab, BitBucket,... - systematické řešení pro spoluautorství - formátování pomocí LaTeX nebo Markdown - (tato prezentace je připravená v Markdown) - [The Plain Person’s Guide to Plain Text Social Science](https://plain-text.co/) ] .pull-right[ .center[ <img src="https://upload.wikimedia.org/wikipedia/commons/2/21/Auctex.png" height = "480">] ] --- class: font180 # Management projektů v Open Science Framework .pull-left[ .center[ <img src="https://images.g2crowd.com/uploads/product/image/large_detail/large_detail_b921eafe93c2b0ad0a08891dea077a0a/open-science-framework.png" height = "100">] - preregistrace - spolupráce - verzování - laboratorník deník - projektová wiki - integrace dalších nástrojů (např. Zotero) - preprintový repozitář ] .pull-right[ .center[ <img src="https://www.researchgate.net/publication/315794339/figure/fig1/AS:614302499229710@1523472537691/University-of-California-San-Francisco-UCSF-Open-Science-Framework-OSF-project-page_W640.jpg" height = "480">] ] --- class: font120 # Doporučená literatura Hoolbrook, J. Britt, Bart Penders, and Sarah de Rijcke. “The Humanities Do Not Need a Replication Drive.” CWTS (blog), January 21, 2019. https://www.cwts.nl:443/blog?article=n-r2v2a4&title=the-humanities-do-not-need-a-replication-drive. Ioannidis, John P. A. “Why Most Published Research Findings Are False.” PLOS Medicine 2, no. 8 (August 30, 2005): e124. https://doi.org/10.1371/journal.pmed.0020124. National Academies of Sciences, Engineering, and Medicine. Reproducibility and Replicability in Science. Washington D.C.: National Academies Press, 2019. Nosek, Brian, and et. al. “Estimating the Reproducibility of Psychological Science.” Science 349, no. 6251 (August 28, 2015). https://doi.org/10.1126/science.aac4716. Peels, Rik. “Replicability and Replication in the Humanities.” Research Integrity and Peer Review 4, no. 1 (January 9, 2019): 2. https://doi.org/10.1186/s41073-018-0060-4. Penders, Bart, J. Britt Holbrook, and Sarah de Rijcke. “Rinse and Repeat: Understanding the Value of Replication across Different Ways of Knowing.” Publications 7, no. 3 (September 2019): 52. https://doi.org/10.3390/publications7030052. Peng, Roger D., and Stephanie C. Hicks. “Reproducible Research: A Retrospective.” ArXiv:2007.12210 [Stat], July 23, 2020. http://arxiv.org/abs/2007.12210. Stodden, Victoria, Friedrich Leisch, and Roger D. Peng. Implementing Reproducible Research. CRC Press, 2018.